TFGN: Task-Free, Replay-Free Continual Pre-Training Without Catastrophic Forgetting at LLM Scale
TFGN：无需任务标签与回放的LLM级持续预训练架构
🧭 Training ★ 深度解读
Independent Researcher
提出一种内部架构叠加层TFGN，在无回放、无任务ID的条件下，实现LLaMA 3.1 8B等多尺度的近零灾难性遗忘与>99.59%的梯度正交性
#Gradient Orthogonality
1 篇